بالحديث والفقه ، ثم اتصل بخدمة علي بن شاذان المعتمد عليه بمدينة بلخ وكان يكتب له فكان يصادره في كل سنة فهرب منه ، وقصد داود بن ميكائيل السلجوقي والد السلطان ألب أرسلان ، فظهر له النصح المحبة فسلمه إلى ولده ألب أرسلان وقال له : اتخذه والدا ولا تخالفه فيما يشير به ، فلما ملك ألب أرسلان دبر امره فأحسن التدبير وبقي في خدمته عشر سنين ، فلما مات ألب أرسلان وملك ابنه ملكشاه فصار الامر كله لنظام الملك وليس للسلطان إلا التخت والصيد وأقام على هذا عشرين سنة . وكان مجلسه عامرا بالفقهاء والصوفية ، وكان إذا سمع الاذان أمسك عن جميع ما هو فيه . وبنى المدارس والربط والمساجد في البلاد ، وهو أول من أنشأ المدارس فاقتدى به الناس وشرع في عمارة مدرسته ببغداد سنة 457 ، وفي سنة 459 جمع الناس على طبقاتهم ليدرس بها الشيخ أبو إسحاق الشيرازي . يحكى من حسن أخلاقه انه كان بينه وبين تاج الملك أبى الغنائم شحناء ومنافسة كما جرت العادة بمثله بين الرؤساء ، فقال أبو الغنائم لابن الهبارية وكان من الملازمين لخدمة نظام الملك ، إن هجوت نظام الملك فلك عندي كذا وأجزل له الوعد فقال : كيف أهجو شخصا لا أرى في بيتي شيئا إلا من نعمته فقال لابد من هذا فعمل هذه الأبيات : لا غرو إن ملك * ابن إسحاق وساعده القدر وصف له الدنيا * وخص أبو الغنائم بالكدر والدهر كالدولاب * ليس يدور إلا بالبقر فبلغت الأبيات نظام الملك فقال : هو يشير إلى المثل السائر على ألسنة الناس وهو قولهم أهل طوس بقر . وكان نظام الملك من طوس وأغضى عنه ولم يقابله على ذلك بل زاد في